format 8 
markov testmarkov(lam, mu, fr, rr) readprobs 

 

loop j, 0,4,1
5_$(j) 5_$(j+1) lam
5_$(j+1) 5_$(j) (j+1)*mu
5_$(j) 4_$(j) 5*fr
4_$(j) 5_$(j) rr
end

loop j, 0,3,1
4_$(j) 4_$(j+1) lam
4_$(j+1) 4_$(j) (j+1)*mu
4_$(j) 3_$(j) 4*fr
3_$(j) 4_$(j) rr
end

loop j, 0,2,1
3_$(j) 3_$(j+1) lam
3_$(j+1) 3_$(j) (j+1)*mu
3_$(j) 2_$(j) 3*fr
2_$(j) 3_$(j) rr
end

loop j, 0,1,1
2_$(j) 2_$(j+1) lam
2_$(j+1) 2_$(j) (j+1)*mu
2_$(j) 1_$(j) 2*fr
1_$(j) 2_$(j) rr
end


1_0 1_1 lam
1_1 1_0 (1)*mu
1_0 0_0 1*fr
0_0 1_0 rr


loop i, 4, 0, -1
$(i+1)_$(i+1) $(i)_$(i) (i+1)*fr
end

* Reward configuration defined: 
reward
5_0 rew_5_0 
5_1 rew_5_1 
5_2 rew_5_2 
5_3 rew_5_3 
5_4 rew_5_4 
5_5 rew_5_5 
4_0 rew_4_0 
4_1 rew_4_1 
4_2 rew_4_2 
4_3 rew_4_3 
4_4 rew_4_4 
3_0 rew_3_0 
3_1 rew_3_1 
3_2 rew_3_2 
3_3 rew_3_3 
2_0 rew_2_0 
2_1 rew_2_1 
2_2 rew_2_2 
1_0 rew_1_0 
1_1 rew_1_1 
0_0 rew_0_0 
end
* Initial Probabilities defined: 
5_0 init_5_0 
5_1 init_5_1 
5_2 init_5_2 
5_3 init_5_3 
5_4 init_5_4 
5_5 init_5_5 
4_0 init_4_0 
4_1 init_4_1 
4_2 init_4_2 
4_3 init_4_3 
4_4 init_4_4 
3_0 init_3_0 
3_1 init_3_1 
3_2 init_3_2 
3_3 init_3_3 
2_0 init_2_0 
2_1 init_2_1 
2_2 init_2_2 
1_0 init_1_0 
1_1 init_1_1 
0_0 init_0_0 
end

* Reward configuration assigned: 
bind
   rew_5_0 0
   rew_5_1 0
   rew_5_2 0
   rew_5_3 0
   rew_5_4 0
   rew_5_5 0
   rew_4_0 0
   rew_4_1 0
   rew_4_2 0
   rew_4_3 0
   rew_4_4 0
   rew_3_0 0
   rew_3_1 0
   rew_3_2 0
   rew_3_3 0
   rew_2_0 0
   rew_2_1 0
   rew_2_2 0
   rew_1_0 0
   rew_1_1 0
   rew_0_0 0
end

* Initial Probailities assigned:
bind
   init_5_0 0
   init_5_1 0
   init_5_2 0
   init_5_3 0
   init_5_4 0
   init_5_5 0
   init_4_0 0
   init_4_1 0
   init_4_2 0
   init_4_3 0
   init_4_4 0
   init_3_0 0
   init_3_1 0
   init_3_2 0
   init_3_3 0
   init_2_0 0
   init_2_1 0
   init_2_2 0
   init_1_0 0
   init_1_1 0
   init_0_0 0
end


* REWARD configuration: block
bind
   rew_5_5  1
   rew_5_4  0
   rew_5_3  0
   rew_5_2  0
   rew_5_1  0
   rew_3_3  1
   rew_5_0  0
   rew_3_2  0
   rew_3_1  0
   rew_3_0  0
   rew_1_1  1
   rew_1_0  0
   rew_4_4  1
   rew_4_3  0
   rew_4_2  0
   rew_4_1  0
   rew_4_0  0
   rew_2_2  1
   rew_2_1  0
   rew_2_0  0
   rew_0_0  1
end 


* Initial Probability: initprob
bind
   init_5_5  0
   init_5_4  0
   init_5_3  0
   init_5_2  0
   init_5_1  0
   init_3_3  0
   init_5_0  1
   init_3_2  0
   init_3_1  0
   init_3_0  0
   init_1_1  0
   init_1_0  0
   init_4_4  0
   init_4_3  0
   init_4_2  0
   init_4_1  0
   init_4_0  0
   init_2_2  0
   init_2_1  0
   init_2_0  0
   init_0_0  0
end 


bind lam 3
bind mu 4
bind fr 6
bind rr 7

func Expected_Reward_Rate_at_Time_T(t) exrt(t, testmarkov; lam, mu, fr, rr)
loop t,0,5,0.1
expr Expected_Reward_Rate_at_Time_T(t)
end

end
